메뉴

#AI 추론

TC
TechCrunch AI 21일 전
IMP 8

프랑스 AI 스타트업 ZML, 다양한 칩에서 추론 속도를 높이는 무료 제품 출시

튜링상 수상자 얀 르쿤의 지지를 받는 프랑스 AI 스타트업 ZML이 엔비디아, AMD, 구글 TPU 등 다양한 칩에서 최적의 LLM 추론 성능을 낼 수 있는 무료 소프트웨어 'ZML/LLMD'를 출시했습니다. 이는 기존 엔비디아 중심의 시장 독점과 벤더 종속 문제를 타파하고, 기업들이 비용과 에너지를 절감하며 AI 인프라를 구축할 수 있게 돕는 시장 판도 변경자로 평가받고 있습니다.

AI 추론 ZML 오픈소스
LL
r/LocalLLaMA 70일 전
IMP 8

인텔 차세대 AI 반도체 크레센트 아일랜드

인텔의 차세대 AI 추론 가속기인 '크레센트 아일랜드(Crescent Island)'의 기판(PCB) 이미지가 최초로 유출되었습니다. 이 장치는 HBM 공급 부족 및 고가 문제를 우회하기 위해 160GB 용량의 LPDDR5X 메모리를 채택했으며, 이는 비용과 전력 효율을 크게 높이는 전략입니다. 새로운 Xe3P 아키텍처를 기반으로 하는 이 가속기는 AI 토큰 서비스 및 공냉식 데이터센터 추론 워크로드에 최적화된 경쟁력 있는 솔루션을 제공할 전망입니다.

인텔 AI 하드웨어 크레센트 아일랜드
LL
r/LocalLLaMA 72일 전
IMP 7

llama.cpp: MTP 프롬프트 처리 속도 개선 PR 병합

오픈소스 프로젝트 llama.cpp에 MTP(다중 토큰 예측) 적용 시 프롬프트 처리(PP) 속도를 크게 향상시키는 PR이 병합되었습니다. 기존에는 불필요한 로짓(logit) 복사로 인해 메모리 부하가 발생했으나, 이를 최적화하여 MTP 사용 시 발생하던 성능 저하를 절반 수준으로 줄였습니다.

llama.cpp 성능 최적화 MTP
GP
r/ChatGPT 93일 전
IMP 8

챗GPT 5.4, 64년 난제 풀었다

23세 사용자가 ChatGPT 5.4 Pro를 이용해 60여 년간 미해결로 남아있던 에르되시(Erdős) 수학 난제를 단 한 번의 시도로 풀어냈습니다. 모델이 약 1시간 20분 만에 기존에 알려진 공식을 해당 문제에 접목시켜 해결책을 도출한 것으로 전해졌습니다. 해당 대화 기록은 공개되어 있으나 현재까지 완벽하게 검증된 상태는 아닙니다.

ChatGPT 수학 난제 AI 추론
HN
Hacker News 94일 전
IMP 8

챗GPT로 60년 난제 푼 23세 아마추어 수학자

23세 아마추어가 OpenAI의 최신 모델을 활용해 60년 된 에르되시 추측 수학 문제를 단 한 번의 프롬프트로 해결했습니다. AI가 인간 수학자들이 놓친 완전히 새로운 접근법을 고안해냈다는 점에서, 학계는 AI의 수학적 추론 능력이 실질적인 응용 가치를 지니기 시작했음을 확인하는 중요한 사례로 평가하고 있습니다.

챗GPT 수학 난제 에르되시 문제